环境准备

环境依赖

组件	版本要求
MUSA Linux driver	5.2.0
mtml	2.2.0
mt-container-toolkit	2.2.0

• MUSA Linux driver 包含在 MUSA SDK 中，参考下载及文档。
• mt-container-toolkit 包含在 KUAE 云原生套件中，参考下载及文档。
• mtml 参考安装指南。

环境检测

# 检查基础配置
dpkg -l | grep -iE 'musa|mtml|mt-container-toolkit|mthreads'

# 检查 GMI
mthreads-gmi

基础配置输出结果参考

user@host:~$ dpkg -l | grep -iE 'musa|mtml|mt-peermem|mt-container-toolkit|mthreads'
ii  mt-container-toolkit      2.2.0-1                    amd64        MT Container Toolkit
ii  mtml                      2.2.0                      amd64        mt-management
ii  musa                      5.2.0-server               amd64        Moore Threads MUSA driver

mthreads-gmi信息参考

---------------------------------------------------------------------
    mthreads-gmi:2.4.2           Driver Version:5.2.0-server
---------------------------------------------------------------------
ID   Name                 |PCIe                |%GPU  Mem
0    MTT S5000            |00000000:2a:00.0    |0%    1428MiB(81920MiB)
...
---------------------------------------------------------------------

启动容器

在宿主机上执行容器启动命令，示例如下：

• 将 [DOCKER_IMAGE_ADDRESS] 替换为 vLLM-MUSA 0.24.0 发布信息中的镜像地址，并根据 CPU 平台选择。
• 根据实际情况修改 /mnt/shared/** 路径，作为宿主机上的共享存储目录，存放模型、启动脚本和日志文件等。

docker run -d \
    --env MTHREADS_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
    --env MTHREADS_DRIVER_CAPABILITIES=all \
    --net host \
    --pid=host \
    --pids-limit=65536 \
    --shm-size 500g \
    -v /mnt/shared/models:/data/models \
    -v /mnt/shared/workspace:/data/workspace \
    --name vllm-service \
    [DOCKER_IMAGE_ADDRESS] \
    bash

参数	说明
MTHREADS_VISIBLE_DEVICES	根据实际需要使用的 GPU 卡数配置
-v /mnt/shared/models:/data/models	宿主机模型目录挂载，按需更改
-v /mnt/shared/workspace:/data/workspace	宿主机工作目录挂载，存放启动脚本、配置和日志等文件
--name vllm-service	容器名称，按需更改

进入容器环境

在宿主机上执行以下命令进入容器：

docker exec -ti vllm-service bash